Библиотека собеса по Data Science | вопросы с собеседований

У вас есть языковая модель. Что произойдёт с новым словом из тестового датасета, которое не присутствовало в обучающем датасете?

В языковой модели новое слово из тестового датасета будет рассматриваться как неизвестное, ведь оно не является частью изученного векторайзером словаря. Модель может:

▪️Игнорировать слово;
▪️Воспользоваться встроенными механизмами обработки редких или неизвестных слов, такими как применение специальных токенов.

Результат будет зависеть от конкретной реализации и архитектуры модели.

#NLP

www.tg-me.com/sg/Библиотека собеса по Data Science | вопросы с собеседований/com.ds_interview_lib/422

1.08K viewsJun 10, 2024 at 13:02

У вас есть языковая модель. Что произойдёт с новым словом из тестового датасета, которое не присутствовало в обучающем датасете?

В языковой модели новое слово из тестового датасета будет рассматриваться как неизвестное, ведь оно не является частью изученного векторайзером словаря. Модель может:

▪️Игнорировать слово;
▪️Воспользоваться встроенными механизмами обработки редких или неизвестных слов, такими как применение специальных токенов.

Результат будет зависеть от конкретной реализации и архитектуры модели.

#NLP

BY Библиотека собеса по Data Science | вопросы с собеседований